Baumgartner bắt đầu chơi bóng đá tại đội bóng quê nhà SV Horn. Đến mùa giải 2012-13, anh chuyển sang AKA St. Pölten và là thành viên của các lứa trẻ đội bóng này.

1899 Hoffenheim

Baumgartner đến Đức gia nhập đội U-19 của 1899 Hoffenheim vào mùa giải 2017-18. Đến tháng 1 năm 2019, anh được đôn lên đội một của Hoffenheim. Ngày 11 tháng 5 năm 2019, anh có lần đầu tiên được ra sân tại Bundesliga khi vào thay người cho Nadiem Amiri trong trận thua 0–1 trên sân nhà trước Werder Bremen.[1]

2020-21

Ngày 21 tháng 11 năm 2020, anh mở tỉ số trong trận đấu với VfB Stuttgart mở màn cho bữa tiệc bàn thắng 3-3 của hai đội[2], bàn thắng đầu tiên của anh trong mùa giải 2020-21. Ngày 24 tháng 1 năm 2021, anh đạt đến cột mốc bàn thắng thứ 10 tại Bundesliga trong chiến thắng 3-0 trước Köln.[3] Pha lập công tiếp theo của anh đến vào ngày 13 tháng 12 trong trận thua 1-4 trước Bayer 04 Leverkusen.[4]

Ngày 6 tháng 3, Baumgartner cùng với Andrej Kramarić ghi bàn chấm dứt chuỗi 9 trận bất bại của VfL Wolfsburg tại Bundesliga.[5] Đến ngày 8 tháng 5, anh cùng với ba cầu thủ khác của Hoffenheim lập công trong hiệp 2 để lội ngược dòng đánh bại đội bóng đã xuống hạng Schalke 04.[6] Baumgartner kết thúc mùa giải với đóng góp vào 9 bàn thắng (6 pha lập công, 3 kiến tạo) trong 31 trận cho Hoffenheim.[7]